#candidate generation

3 篇

Sample Count Is Not Enough: Candidate-Generation Strategy Shapes the Energy and Performance of LLM Test-Time Scaling

样本数量不够：候选生成策略决定LLM测试时扩展的能量与性能

🧭 LLM推理 · 多候选采样批次调度

Iowa State University

固定候选数下，少量大批次调用比多次小批次调用显著降低GPU能耗与延迟

📌 工作参考价值（4 点）

在电商/广告/搜索中用 LLM 做自一致性、多候选 query 改写或商品文案生成时，优先把多个独立候选合并成一次 batched generation，而不是 for 循环串行调用；例如要生成 8 个候选 query，直接 batch_size=8 一次请求，可将 P95 延迟降低约 5-6 倍、GPU 能耗降低约 4-5 倍。
对多 Agent 系统，如果多个 agent 针对同一 prompt 独立产出候选（如选品、类目预测、出价策略），且相互无依赖，可以聚合为单模型单次批量推理；避免 agent 调度器串行等结果带来的 GPU 空闲和重复调度开销。
实验评估与 A/B 上线时，不要只记录候选数 N 和 accuracy；把 generation schedule（a×b）、P95 latency、GPU-hours、gross GPU energy 纳入日志。同一 N 的不同实现，线上成本差异可能数倍，这直接影响预算与容量估算。
如果显存允许，优先扩大 batch 而非增加请求数；短输出任务和小模型也遵循同样趋势。对推荐场景里大量短文生成（搜索词、标签、push 文案）尤其适合，因为单条输出短，batch 扩展的显存压力低。

LLM | 2026-09-15 | HF Daily | score 6/10

候选供给与答案选择塑造多智能体系统中 LLM 评判价值

🧭 多智能体推理 · LLM 评判与终选 ★ 深度解读

Fudan University · Shanghai Jiao Tong University · Shanghai Academy of Artificial Intelligence for Science

将多智能体推理拆成生成-交流-终选，证明 LLM 评委价值随候选正确率、任务和生成器变化，混合频率与排名可救回少数正确答案

📌 工作参考价值（4 点）

在电商/搜索/Agent 工作流中，把「候选生成→交互/召回→终选」拆开埋点，重点统计正确/高相关候选是否已出现却被多数投票或流行度排序丢掉；先看生成供给，再优化选择。
多智能体集成或 LLM 终选不要只用多数投票：采用 answer frequency 与 judge rank 的 rank-power 加权（wi=(k-i)^t，t=2-4），可在固定候选池中救回少数高质量候选，本文提升约 7pp，适合小候选池和冷门但正确的商品/query 候选。
LLM judge 不是静态能力：上线前用实际上游生成器的候选分布评估 rank AUC 与 pgen 的关系，监控低可用性区间可能低于随机；对高难度、冷启动或候选正确率很低的场景谨慎使用 judge。
算力路由：小候选集（k≤6）用 judge 比扩大采样更划算；大池且候选正确率较高时多数投票更稳，judge 边际收益下降甚至为负。可据此做动态选择策略。

MultiAgent | 2026-08-26 | cs.AI | score 8/10

基于矩阵分解MDP的候选列表规划

🧭 动态感知的MF候选生成规划 ★ 深度解读

AI VK · Lomonosov Moscow State University

在固定MF嵌入上增加闭式秩一更新的前瞻规划，使检索列表感知用户状态变化

📌 工作参考价值（4 点）

对现有MF检索管线几乎零改动：仅需缓存后验矩阵 \(A^{-1}\)、复用已有item embedding，用闭式 Sherman‑Morrison 更新完成单步前瞻（Plan‑1），计算成本 \(O(d^2)\)，可快速集成到粗排或召回后重排。
必须用余弦相似度替代内积：内积与物品流行度高度纠缠，导致规划偏向热门 item，余弦相似度是让规划生效的前提，业务上务必做相似度形式的消融验证。
在全局时间切分（GTS）下规划增益不一定成立，因为物品流行度、用户行为分布会随时间段漂移，乐观的“推荐即接受”假设失效；实际部署前必须用未来时段数据验证，只在验证显示序列结构时启用 Plan‑K。
MCTS 可采用 ANN 索引限制每个节点的候选动作数（Wolpertinger 风格），配合余弦先验的 UCT 探索项保持对数遗憾界，控制树搜索开销。

RecSys | 2026-07-02 | cs.IR | score 8/10